Генеративный ИИ два года спустя: разоблачения продолжаются


Инструменты и сервисы генеративного искусственного интеллекта (ИИ) активно развиваются, повышается качество результатов генерации. В то же время остаются нерешёнными системные проблемы: сконфабулированные ссылки, правдоподобность и наукообразность при искажении фактов и т.д.

Необходимы эффективные инструменты для качественной детекции и организации работы с ИИ при создании текстов научного и учебного содержания.


Юрий ЧЕХОВИЧ, заведующий лабораторией Института проблем управления имени В.А. Трапезникова РАН, руководитель компании «Думейт», к. ф.-м. н.

Павел БОТОВ, руководитель разработки компании «Думейт», к. ф.-м. н.

Андрей ГРАБОВОЙ, старший научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, руководитель исследований компании «Думейт», к. ф.-м. н.

Андрей ИВАХНЕНКО, младший научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, руководитель отдела внедрения и эксплуатации компании «Думейт», к. ф.-м. н.

Александр КИЛЬДЯКОВ, научный сотрудник Института проблем управления имени В.А. Трапезникова РАН, технический директор компании «Думейт»


ДВА ГОДА ПРОШЛО. ЧТО ИЗМЕНИЛОСЬ?

В 2024 г. журнал «Университетская КНИГА» опубликовал статью [1], в которой мы постарались в популярной форме рассказать о генеративных моделях ИИ. К этому моменту их применение уже стало массовым, однако значительная часть пользователей практически не разбиралась в принципах новых технологий, воспринимая их работу как нечто магическое. Нельзя сказать, чтобы для этого не было оснований. Новые технологии стремительно освоили задачи, решение которых многие сотни лет рассматривалось как подтверждение когнитивных возможностей человека.

В работе [1] мы рассматривали ИИ прежде всего как генератор правдоподобного текста и пытались разобраться, почему этот текст нельзя безусловно считать достоверным. Механизмы генерации, причины и опасности галлюцинаций, ограничения моделей и риски для науки и образования — эти вопросы и сейчас остаются актуальными.

Что изменилось к 2026 г.? Прежде всего, использование ИИ студентами и учёными из массового превратилось во всеобщее. Исследования в студенческой [2] и исследовательской [3] среде показывают, что генеративный ИИ применяют если не все, то очень многие. В учебно-научной среде постепенно осуществляется переход от экспериментов с чатами как генераторами текста к инфраструктурному использованию ИИ в качестве набора повседневных интеллектуальных инструментов. Сейчас ИИ довольно прочно встроен в несколько стадий исследовательской деятельности [4].

Масштабные исследования текстов научных публикаций на наличие в них признаков использования больших языковых моделей показывают, что уже в 2024 г. 13,5% аннотаций статей по биологии и медицине подвергались обработке ИИ. В некоторых выборках показатель достигал 40% [5]. Исследования российских научных публикаций демонстрируют аналогичные тенденции [6]¹.


¹ Наша работа над этой статьёй не стала исключением: несколько ИИ-сервисов использовались для поиска и структуризации информации, перевода с английского на русский, планирования и проведения эксперимента.


На этом фоне наблюдается отставание в уровне компетенций пользователей, а также в нормативах и практиках регулирования использования ИИ [7]. Наши исследования нормативной базы показывают, что не более 25% российских вузов предполагают использование новых технологий учёными и студентами. «Нормативка» трёх четвертей университетов написана и утверждена до эпохи нейросетей [8].

Можно предполагать, что многие просто не рискуют фиксировать процессы и требования, наблюдая очень высокую скорость развития технологий и связанную с этим изменчивость понятий. В отношении ИИ в полной мере действует формула «все утверждения являются истинными только в момент произнесения». Уже завтра то, что вчера казалось незыблемым, может измениться. Здесь мы подходим к первому разоблачению. Оказывается…

…ИИ УЖЕ НЕ ГЕНЕРАТОР ТЕКСТА

Точнее, не только и не столько генератор. В 2024 г. мы утверждали, что ключевые особенности машинных текстов определяются базовым устройством генеративного ИИ-алгоритма: он предсказывает наиболее вероятное следующее слово в создаваемом тексте. Действительно, до определённого момента качество генеративного сервиса определялось ключевыми факторами обучения модели: размером и репрезентативностью выборки, особенностями архитектуры нейросети, объёмом и качеством пользовательского дообучения. Улучшения каждого из этих параметров позволяли свершаться новым прорывам в качестве генерации.

Однако уже несколько лет назад стало понятно, что пределы улучшений практически достигнуты. Следующий прорыв произошёл не с качеством больших языковых моделей, а с ключевым элементом инфраструктуры их использования — агентами. За насколько лет пользовательская практика прошла путь «чат-бот — помощник — агент — команда специализированных агентов» [9]. При этом изменения выразились не только в появлении новых специализированных сервисов, работающих в том числе в области науки и образования [10], но и в том, что ИИ-сервисы общего назначения: ChatGPT, DeepSeek, Claude, YandexGPT, GigaChat — обзавелись мощным слоем спецагентов. Пользователю чаще всего не очевидно, что агенты подключаются к работе над запросом, но сейчас именно они обеспечивают заметную долю полезности результата.

К 2026 г. ИИ прочно вошёл практически во все стадии подготовки научного текста: генерацию идей, поиск литературы, формирование дизайна исследования, структуры работы, перевод, обработку данных, написание черновиков, научное редактирование, предсказание реакции рецензентов и оценивающих систем [11].

И здесь мы подходим ко второму разоблачению: став значительно полезнее…

…ИИ ВСЁ ЕЩЁ НЕ ИСТОЧНИК ИСТИНЫ

В 2024 г. мы показывали [1] примеры того, как ИИ-сервисы ошибаются при ответах на узкоспециализированные вопросы вида «О чём книга “Муму”?» и «Сколько стран в мире начинаются на букву В?». Изменилось ли за два года качество работы ИИ-сервисов по специальным запросам?

Взаимодействуя с ChatGPT², мы сформировали план проверки:

Этап 1. Задать современной модели несколько вопросов из статьи 2024 г. [1]. Предположительно старые грубые ошибки исчезнут.

Этап 2. Попросить модель подготовить небольшой обзор сложной научной темы со ссылками на источники.

Этап 3. Проверить не только существование ссылок, но и то, действительно ли каждая статья подтверждает приписанное ей утверждение.

Наше тестирование³ показало, что с 2024 г. с творчеством И.С. Тургенева успели познакомиться все модели.


² OpenAI; август 2026 г.; модель GPT-5.6 Sol.

³ Тестировались ChatGPT, DeepSeek, Claude, YandexGPT, MS Copilot, Gemini.


Вопрос о странах на букву В оказался более сложным, и эталонный ответ чаще всего удавалось получить только с подсказками. В одном случае модель не смогла корректно посчитать количество элементов в сгенерированном ею списке. В целом первый этап можно было считать успешно пройденным.

Для подготовки небольшого обзора сложной научной темы выбрали следующие вопросы «с подвохом»:

  1. Микропластик и риск сердечно-сосудистых заболеваний.
  2. Ультрапереработанные продукты и риск преждевременной смерти.
  3. Умеренное употребление алкоголя и риск общей смертности.

Были подготовлены эталонные правильные ответы и возможные варианты неправильных.

Во все исследуемые сервисы отправили три промпта следующего содержания:

«Подготовь краткий научный обзор по теме “[1, 2, 3]”. Используй преимущественно систематические обзоры, метаанализы и крупные исследования. Все существенные факты и количественные выводы подкрепляй ссылками на первоисточники. В конце сформулируй, какие причинно-следственные выводы позволяют сделать имеющиеся исследования и каково современное состояние научного консенсуса».

Практически во всех случаях исследуемые ИИ-сервисы оказались на высоте. Лишь однажды ответ был таким, что, по нашему мнению, при беглом прочтении он может быть интерпретирован как подтверждающий доказанную причинно-следственную связь между ультрапереработанными продуктами и риском смерти (это было возможным неправильным ответом).

Таким образом, мы убедились в том, что качество результатов современных ИИ-сервисов существенно выросло за прошедшие два года. В том числе и в задачах научно-учебных. Тем не менее, даже улучшившись, большие языковые модели всё ещё остаются склонными к созданию правдоподобного, но фактически неверного содержания [12].

При этом обучение моделей только на правильных данных не позволяет полностью решить проблему галлюцинаций ИИ. Исследователи работают сразу в нескольких направлениях: корректировка архитектуры моделей и процедур их обучения, создание промптов, методы информационного поиска (RAG), методы на основе рассуждений и самопроверки и методы посткоррекции ошибок. Очевидно, что серьёзных успехов в борьбе с галлюцинациями ИИ можно ожидать от гибридных подходов, сочетающих методы различной природы [13].

Проверка существования источников и того, действительно ли каждая статья подтверждает приписанное ей утверждение, ошибок не выявила вовсе⁴.


⁴ Естественно, проведённое исследование не является научным. Мы ставили целью скорее наглядно проиллюстрировать результаты цитируемых нами научных публикаций.


Хотя на практике так бывает далеко не всегда, что приводит к третьему разоблачению…

…НАЛИЧИЕ ИСТОЧНИКОВ ЕЩЁ НЕ ОЗНАЧАЕТ ДОСТОВЕРНОСТИ ОТВЕТА

В последние годы стала очень остро ощущаться проблема присутствия в научных публикациях библиографических записей, которые выглядят правдоподобно, но полностью либо частично не соответствуют реально существующим публикациям [14; 15]. В русскоязычной среде это явление называют конфабулированными, фантомными или фейковыми ссылками [16]. Количественные исследования показывают рост на порядок доли статей, содержащих хотя бы одну конфабулированную ссылку (с одной статьи на 2828 статей в 2023 г. до одной на 458 в 2025-м и одной на 277 в первые семь недель 2026-го) [17].

В российском научном пространстве проблему подробно исследует С.А. Морозова. Она описывает причины возникновения фейковой библиографической информации, предлагает её типологию и рассматривает последствия попадания подобных ссылок в научные публикации [15].

Наличие проблемы приводит к необходимости появления специальных инструментов, предназначенных для выявления конфабулированных ссылок ещё на этапе редакционной подготовки рукописей. В частности, специальные сервисы появились на портале научной электронной библиотеки eLIBRARY.RU и в системе обнаружения заимствований «Думейт».

Даже наличие реальных источников не исключает возникновения фактических ошибок или некорректной интерпретации ИИ научной литературы. В ответах ИИ-сервисов обнаруживается значительное количество утверждений, которые не подтверждаются именно теми источниками, которые нашёл сервис [18]. Получается, что делегировать ИИ цепочку работы с информацией «найти источник — понять его — корректно использовать» можно далеко не всегда, и в любом случае это должно происходить под серьёзным контролем.

Естественно, что возникновение новых проблем подталкивает к поиску очередных решений. В качестве одного из возможных, по примеру систем обнаружения заимствований для проблемы плагиата, рассматриваются детекторы ИИ. Это приводит нас к четвёртому разоблачению…

…ДЕТЕКТОРЫ ИИ НЕ СМОГУТ РЕШИТЬ ПРОБЛЕМУ АКАДЕМИЧЕСКОЙ ДОБРОСОВЕСТНОСТИ

В 2023 г. задача формулировалась довольно просто: «Можно ли создать алгоритм, способный надёжно обнаруживать машинный текст в научных и учебных работах?» [19]. Стартовавшая в 2022 г. эпоха «большого ИИ» побудила многие команды взяться за разработку детекторов. Довольно скоро обнаружился парадоксальный эффект: многие инструменты детекции, демонстрируя впечатляющие (вплоть до 99,9%) показатели качества на тестовых коллекциях, оказывались гораздо менее состоятельными при работе «в поле». Одной из вероятных причин такого расхождения является качество датасетов, используемых для обучения и оценки [20].

Современные исследования на хорошо подготовленных и сбалансированных датасетах показывают весьма невысокие показатели качества детекции популярных инструментов [21]. При этом люди справляются с задачей детекции ещё хуже — практически на уровне случайного угадывания [22].

В середине 2025 г. мы пришли к пониманию, что предметом оценки должен становиться не только документ, но и процесс его создания. Необходимость перехода к оценке, основанной на процессе, подтверждается и другими исследователями [23]. Очень важно перейти от модели «обнаружить и запретить» к организации научного и образовательного процесса таким образом, чтобы оценка результата не была доминантой [24].

Современные системы оценивания должны не просто выявлять и количественно оценивать недостатки работы, но давать автору обратную связь, как сделать работу лучше. Зачастую он допускает ошибки не преднамеренно, а по неопытности, и система, реализующая оценку и подсказки «на лету», могла бы помочь улучшить качество работы. Уже сейчас есть подтверждения эффективности такого подхода [25].

В январе 2026 г. мы выпустили систему «Дутрейс» (https://app.dotrace.ru), в которой реализуем изложенные выше идеи. Цель этого сервиса — стать помощником автора в подготовке учебной или научной работы с этичным использованием ИИ, помочь научно-образовательной системе сменить сложившуюся практику ограничений и запретов на атмосферу помощи и доверия.

И теперь уже последнее в этой статье разоблачение…

…РАЗОБЛАЧЕНИЯ ПРОДОЛЖАТСЯ

Стремительно ворвавшийся в нашу жизнь бум технологий и сервисов на базе ИИ далёк от перехода в стадию насыщения. Нас совершенно точно ожидает большое количество открытий и вызовов. Мы уверены, что преимущества и новые возможности, которые привносят в нашу жизнь новые технологии, точно смогут компенсировать неудобства и проблемы. Ведь каждая проблема — это для кого-то шанс найти новое красивое решение.

ЛИТЕРАТУРА

  1. Чехович Ю.В., Грабовой А.В., Грицай Г.М. Модели генеративного искусственного интеллекта с полным их разоблачением // Университетская КНИГА. 2024. Июнь. С. 20–27.
  2. Stephenson R., Armstrong C. Student Generative Artificial Intelligence Survey 2026. Higher Education Policy Institute, 2026. URL: https://www.hepi.ac.uk/reports/student-generative-ai-survey-2026/ (accessed: 22.08.2026). (HEPI Report; 199).
  3. ExplanAItions 2025: The Evolution of AI in Research / Wiley. 2025. URL: https://www.wiley.com/en-us/about-us/ai/study (accessed: 22.08.2026).
  4. Is generative AI reshaping academic practices worldwide? A survey of adoption, benefits, and concerns / E. Mohammadi, M. Thelwall, Y. Cai [et al.] // Information Processing & Management. 2026. Vol. 63, iss. 1. Art. 104350. DOI: 10.1016/j. ipm.2025.104350.
  5. Delving into LLM-assisted writing in biomedical publications through excess vocabulary / D. Kobak, R. González-Márquez, E.-Á. Horvát, J. Lause // Science Advances. 2025. Vol. 11, iss. 27. Art. eadt3813. DOI: 10.1126/sciadv.adt3813.
  6. Чехович Ю.В. Качество научных публикаций: «Дутрейс» поможет учёным публиковаться без ИИ-мусора // Университетская КНИГА. 2026. № 2. С. 74–77. EDN FQDKJS.
  7. Evans I. Why AI literacy for researchers is the new essential skillset // Elsevier. 2026. 30 January. URL: https://www.elsevier.com/connect/why-ai-literacy-for-researchers-is-the-new-essential-skillset (accessed: 22.08.2026).
  8. Чехович Ю.В., Беленькая О.С. Молчание ягнят, или Большая перемена: анализ институциональной реакции вузов на ИИ-вызовы: доклад на XXIV Всероссийской научно-практической конференции и выставке «Корпоративные библиотечные системы: технологии и инновации» (КорФор-2026), Санкт-Петербург, 16 июня 2026 г. URL: https://rutube.ru/video/0102c0d4790fb9fe23ed0d2ad04538fa/ (дата обращения: 22.08.2026).
  9. Agentic AI and the rise of in silico team science in biomedical research / B. Li, A. K. Saini, J. G. Hernandez, J. H. Moore // Nature Biotechnology. 2026. Vol. 44, iss. 5. P. 711–725. DOI: 10.1038/s41587-026-03035-1.
  10. A multi-agent system for automating scientific discovery / A. E. Ghareeb, B. Chang, L. Mitchener [et al.] // Nature. 2026. Vol. 655, iss. 8122. P. 497–505. DOI: 10.1038/s41586-026-10652-y.
  11. Meng Q., Xie Y.-N., Lu D. A systematic review of AI-assisted academic writing: Tools, measures, and effects // Journal of English for Academic Purposes. 2026. Vol. 82. Art. 101726. DOI: 10.1016/j. jeap.2026.101726.
  12. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions / L. Huang, W. Yu, W. Ma [et al.] // ACM Transactions on Information Systems. 2025. Vol. 43, iss. 2. Art. 42. P. 1–55. DOI: 10.1145/3703155. EDN: FHGSXF.
  13. Alansari A., Luqman H. Large language models hallucination: A comprehensive survey // Computer Science Review. 2026. Vol. 61. Art. 100970. DOI: 10.1016/j.cosrev.2026.100970.
  14. Spennemann D.H.R. The Origins and Veracity of References ‘Cited’ by Generative Artificial Intelligence Applications: Implications for the Quality of Responses // Publications. 2025. Vol. 13, iss. 1. Art. 12. P. 1–23. DOI: 10.3390/publications13010012.
  15. Морозова С.А. Генеративные модели ИИ и фейковая библиографическая информация в научных публикациях: причины, типология, последствия и значение для управленческих решений // Управленческое консультирование. 2026. № 2 (194). С. 206–227. EDN: WJCNUH.
  16. Морозова С.А. Библиография от GPT: границы достоверности // Университетская КНИГА. 2026. № 1. С. 76–83.
  17. Fabricated citations: an audit across 2•5 million biomedical papers / M. Topaz, N. Roguin, P. Gupta [et al.] // The Lancet. 2026. Vol. 407, iss. 10541. P. 1779– 1781. DOI: 10.1016/S0140-6736(26)00603-3.
  18. DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence / P. N. Venkit, P. Laban, Y. Zhou [et al.] // The Fourteenth International Conference on Learning Representations (ICLR 2026). 2026. URL: https://proceedings.iclr.cc/paper_files/paper/2026/hash/ad08767706825033b99122332293033d-Abstract-Conference.html (accessed: 22.08.2026). DOI: 10.48550/arXiv.2509.04499.
  19. Поиск искусственно сгенерированных текстовых фрагментов в научных документах / Г.М. Грицай, А.В. Грабовой, А.С. Кильдяков, Ю.В. Чехович // Доклады Российской академии наук. Математика, информатика, процессы управления. 2023. Т. 514, № 2. С. 308–317. DOI: 10.31857/S2686954323601677. EDN: GQRWLF.
  20. Are AI Detectors Good Enough? A Survey on Quality of Datasets with Machine-Generated Texts / G. Gritsai, A. Voznyuk, A. Grabovoy, Y. Chekhovich. URL: https://openreview.net/pdf?id=WDhwO4Hhq2 (accessed: 22.08.2026). DOI: 10.48550/arXiv.2410.14677.
  21. Hadra M., Cambridge K., Mesbah M. Evaluating the accuracy and reliability of AI content detectors in academic contexts // International Journal for Educational Integrity. 2026. Vol. 22. Art. 4. DOI: 10.1007/s40979-026-00213-1.
  22. Ability of AI detection tools and humans to accurately identify different forms of AI-generated written content / A. Cheng, Y. Lin, G. Reedy [et al.] // Advances in Simulation. 2025. Vol. 10. Art. 66. DOI: 10.1186/s41077-025-00396-6.
  23. Redefining student assessment in AI-infused learning environments: a systematic review of challenges and strategies for academic integrity / P. D. N. Ncube, G. P. Dzvapatsva, C. Matobobo, M. M. Ranga // AI and Ethics. 2026. Vol. 6. Art. 68. DOI: 10.1007/s43681-025-00871-w.
  24. Чехович Ю.В. Искусственный интеллект в системе высшего образования: анализ сценариев институциональной реакции // Историческая информатика. 2026. № 2. С. 42–57. DOI: 10.7256/2585-7797.2026.2.80266.
  25. Effects of AI-Assisted Feedback via Generative Chat on Academic Writing in Higher Education Students: A Systematic Review of the Literature / C. A. Cerón Urzúa, R. Ranjan, E. E. Méndez Saavedra [et al.] // Education Sciences. 2025. Vol. 15, iss. 10. Art. 1396. DOI: 10.3390/educsci15101396.


Рубрика: Инновационные технологии

Год: 2026

Месяц: 5

Теги: Искусственный интеллект (ИИ) Нейросети ИИ в образовании и науке Юрий Чехович Павел Ботов Андрей Грабовой Андрей Ивахненко Александр Кильдяков компания "Думейт"